Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
大语言模型过程性技能的自适应多分辨率压缩
🧭 Agent 技能压缩 ★ 深度解读
Tsinghua University
提出多分辨率软令牌压缩框架 SKIM，通过渐进训练与离线自判实现技能压缩，在保持任务精度的同时大幅减少 token 消耗。
📌 工作参考价值（4 点）
- 在 Agent 系统中，将冗长的技能描述（如电商工具的 API 文档、流程指引）压缩为少量连续软令牌，可显著降低每次调用的 prefill 延迟和费用，且通过渐进训练与 LoRA 适配，能严格保持工作流中的条件依赖和工具调用逻辑，避免硬压缩导致流程断裂。
- 多分辨率设计允许同一个技能存储 256/512 等不同预算的软令牌前缀，通过离线自判自动为每个技能‑模型对选择最优压缩率：简单技能用极少令牌，复杂流程用较高预算或回退至原文，这类似于电商推荐中根据复杂度动态分配 embedding 维度。
- 技能更新时只需一次前向传播即可重新压缩，无需梯度优化，使得频繁迭代的 Agent 技能仓库（如 ClawHub）能以类似软件构件的方式分发预计算的软令牌包，这对推荐系统中动态 prompt 维护有借鉴意义。
- 训练中使用 ReAct 轨迹模拟工具调用，并通过分解复杂技能为子技能训练多技能组合，这些合成数据方法可直接用于构建电商多工具 Agent 的压缩训练数据。